Trace: A Taxonomy-Guided Environment for Multidomain Visual Reasoning
TRACE：分类学引导的多领域视觉推理环境
🧭 可验证奖励的视觉推理合成训练
Rochester Institute of Technology
基于场景语法与可执行任务程序构建可控、可验证的多域视觉推理数据，RL微调使VLM跨24基准平均提升3.5–4.1个百分点
📌 工作参考价值（4 点）
- 合成商品图像训练数据：借鉴场景语法（scene grammar）思想，按属性（背景、角度、材质）程序化生成大量商品图片，训练多模态模型精准理解商品属性，替代昂贵的人工拍摄。
- 可自动验证的视觉问答构造：利用可执行任务程序（task program）生成带精确答案的视觉问题，实现完全自动化的评测与奖励计算，可用于商品详情页问答、图像描述一致性校验等场景。
- RL微调提升多模态Agent决策：将RLVR框架迁移至真实业务指标（点击率、转化率等可计算信号），微调多模态Agent在图像排序、商品匹配等任务中的推理能力，无需额外人工标注。
- 分类学控制生成多样化训练样本：采用taxonomy-guided variation机制，可扩展到搜索词、查询意图的组合生成，丰富长尾覆盖，增强模型在电商推荐中的泛化能力。